OpenART: Scaling Agent Red Teaming via Open-Ended Environment Evolution
OpenART：基于开放式环境演化的 Agent 红队规模化评测
🧭 Agent 安全红队 · 环境演化
Fudan University · Shanghai Artificial Intelligence Laboratory · XSafeAI
提出开放式环境演化基准 OpenART 与黑盒攻击策略 EMHA，在 75 种 Agent-模型配置上取得 85.0% 攻击成功率
📌 工作参考价值（4 点）
- 在电商/广告等长会话 Agent 场景中，可借鉴「环境状态演化」思路：不直接攻击模型输入，而是通过授权状态转移逐步污染共享上下文，测试推荐/搜索 Agent 在累积状态下的鲁棒性。
- 多工具调用（如商品检索、订单查询、广告投放）中，可建立状态转移超图，识别高风险路径，提前限制敏感状态变更，防止攻击链通过多个合法工具组合放大风险。
- 评估 Agent 安全时，除了模型能力，需重点关注 runtime 框架选择：文中发现目标 Agent 身份可解释额外 7.6% ASR 变异，提示生产中应测试不同 Agent 运行时的安全性差异，避免仅依赖模型层防御。
- 对于长链路任务（如电商导购 Agent 执行 97 次工具调用），可引入动态环境监控，检测偏离任务目标的异常状态演化，作为红队预警机制。